\k{appa}-LoRA: Condition Numbers Reveal Which LoRA Matrices Worth Updating
κ-LoRA：用条件数发现哪些LoRA矩阵更值得更新
🧭 高效微调 · 条件数驱动的选择性LoRA
King Abdullah University of Science and Technology · Carnegie Mellon University
基于权重矩阵的条件数选择性更新LoRA参数，在匹配标准LoRA精度的同时减少约一半的参数量和16.2%的训练时间
📌 工作参考价值（4 点）
- 选择性微调的思路可直接用于推荐模型部署：在电商/广告推荐系统中，通常需对多个任务（CTR、CVR）或场景进行LLM微调，κ-LoRA表明不必更新所有权重矩阵，仅更新条件数大的50%矩阵即可保持效果，节省边缘端/实时更新的算力与内存。
- 条件数作为矩阵重要性的度量可嵌入自动化微调流程：条件数计算轻量，可在微调前快速评估各层权重的重要性，为模型裁剪、量化或稀疏更新提供依据，适用于在线学习的资源分配。
- 谱重平衡的思想可迁移到特征交互层或嵌入表更新：推荐模型中存在大量嵌入矩阵和交互矩阵，可类比用条件数识别哪些特征空间尚未充分学习，选择性进行微调或重训，提升资源利用率。
- 对于Agent中多模型微调的场景，κ-LoRA能有效降低联合微调成本：多Agent系统往往需对多个LLM进行适配，κ-LoRA的稀疏化更新策略可让不同Agent共享基座模型，仅更新各自相关的关键矩阵，减少显存和通信开销。